//package com.etc
//
//import org.apache.spark.{SparkConf, SparkContext}
//
//object TFIDF3 {
//  def main(args: Array[String]): Unit = {
//    val conf = new SparkConf().setMaster("yarn-client")
//    val sc = new SparkContext(conf)
//
//    //将原始数据映射到DataFrame中，字段category为分类编号，字段text为分好的词，以空格分隔
//    var srcDF = sc.textFile("/tmp/lxw1234/1.txt").map {
//      x =>
//        var data = x.split(",")
//        RawDataRecord(data(0),data(1))
//    }.toDF()
//
//    srcDF.select("category", "text").take(2).foreach(println)
//      [0,苹果 官网 苹果 宣布]
//      [1,苹果 梨 香蕉]
//    //将分好的词转换为数组
//    var tokenizer = new Tokenizer().setInputCol("text").setOutputCol("words")
//    var wordsData = tokenizer.transform(srcDF)
//
//    wordsData.select($"category",$"text",$"words").take(2).foreach(println)
//      [0,苹果 官网 苹果 宣布,WrappedArray(苹果, 官网, 苹果, 宣布)]
//    [1,苹果 梨 香蕉,WrappedArray(苹果, 梨, 香蕉)]
//
//    //将每个词转换成Int型，并计算其在文档中的词频（TF）
//    var hashingTF =
//      new HashingTF().setInputCol("words").setOutputCol("rawFeatures").setNumFeatures(100)
//    var featurizedData = hashingTF.transform(wordsData)
//  }
//
//}
//case class RawDataRecord(category: String, text: String)